#Gated Cross-Attention

3 篇

Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models

深度融合记忆：大语言模型的块级参数化记忆

🧭 参数化记忆 · 隐藏层深度融合

LUMIA Lab, Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory

提出块级参数化记忆DFM，训练数据构造检索量降低32倍，并深度融合进隐藏状态，无需在线检索

📌 工作参考价值（5 点）

### 对电商 / 广告 / Agent 的可借鉴点
在电商导购、广告文案或客服 Agent 中，需要给 LLM 注入领域知识（商品库、活动政策、广告规范）。DFM 提供一种冻结主干的参数化记忆方案：推理时无显式检索步骤，延迟低，比 RAG 更适合高 QPS 线上场景；可训练轻量 memory predictor + fusion 模块，把领域知识压缩进隐藏状态。
块级记忆监督是关键技巧：用 chunk embedding 作为预测目标，而非 token 级目标，训练数据构造的检索 query 可减少 32×、检索条目减少 2048×。业务数据量大、离线检索成本敏感时，优先考虑把知识切块并做块级记忆，能大幅降低知识注入成本。
门控 cross-attention 融合比输出层插值更深，能让知识影响中间表征；工程上可只插入少数层，冻结原模型，避免灾难性遗忘。适合给已有的推荐/Agent 底座模型做领域适配而不破坏通用能力。
可迁移到实时交互场景：让 memory predictor 根据对话或行为前文预测 chunk 级记忆，动态融合到解码过程，省去显式检索模块，简化架构并降低运维复杂度。

LLM | 2026-10-17 | HF Daily | score 7/10

协作记忆增强的生成式推荐框架

🧭 生成式推荐 · 协同记忆增强 ★ 深度解读

Renmin University of China · ByteDance

提出 OMEGA 框架，通过潜在压缩记忆库和目标感知检索将全局协同信号显式注入生成式推荐

📌 工作参考价值（5 点）

记忆增强可无痛嫁接现有 GR 模型：OMEGA 是模型无关的框架，仅需增加跨注意力模块和记忆检索，即可对 TIGER、Pctx、SETRec 等 backbone 带来一致提升（NDCG@5 相对提升 16%~23%）。推荐团队可在现有生成式召回/排序模型上以轻量 fine-tuning 方式接入。
潜在压缩降低在线存储与检索成本：用 C 个可学习 query token 将变长序列压缩为固定维度嵌入（C=2 时已接近无损），存储开销极小。实际部署时还可以结合聚类裁剪记忆库，只用 1% 的记忆容量即可保持效果，适合大规模工业检索。
目标感知检索提升记忆相关性：单纯按序列相似度检索效果差，引入目标 item 相似度（加权系数 α≈0.2~0.3）能更好地抓住“与当前意图相关的行为模式”。这一思想可直接用于电商搜索/推荐中的 RAG 或记忆增强模块。
两阶段微调策略防止语义漂移：先冻结 backbone 只训跨注意力模块，再联合微调，避免记忆信号污染预训练表示。类似做法在 Agent 引入外部工具或记忆时也可借鉴。
检索器质量决定天花板：更强的检索器（如 HSTU 优于 SASRec）能带来更大增益，但效果并非简单模型蒸馏，而是记忆提供了独立于检索器的额外上下文信息。这意味着可以单独优化检索器来提升整个记忆增强系统的效能。

GenRec | 2026-08-02 | cs.IR | score 8/10

通过可操控模型合并增强多语言推理

🧭 可操控模型合并 · 多语言推理

Beijing University of Posts and Telecommunications · Fudan University · Beihang University · Monash University · Zhongguancun Laboratory

提出可操控模型合并（ST-Merge），用门控交叉注意力动态调整多语言与推理模型的贡献，解决多语言推理中的模型冲突

📌 工作参考价值（4 点）

LLM | 2026-06-17 | cs.CL | score 7/10